We propose a technique for learning single-view 3D object pose estimation models by utilizing a new source of data -- in-the-wild videos where objects turn. Such videos are prevalent in practice (e.g., cars in roundabouts, airplanes near runways) and easy to collect. We show that classical structure-from-motion algorithms, coupled with the recent advances in instance detection and feature matching, provides surprisingly accurate relative 3D pose estimation on such videos. We propose a multi-stage training scheme that first learns a canonical pose across a collection of videos and then supervises a model for single-view pose estimation. The proposed technique achieves competitive performance with respect to existing state-of-the-art on standard benchmarks for 3D pose estimation, without requiring any pose labels during training. We also contribute an Accidental Turntables Dataset, containing a challenging set of 41,212 images of cars in cluttered backgrounds, motion blur and illumination changes that serves as a benchmark for 3D pose estimation.

我们建议在2D域中利用自我监督的技术来实现细粒度的3D形状分割任务。这是受到观察的启发：基于视图的表面表示比基于点云或体素占用率的3D对应物更有效地建模高分辨率表面细节和纹理。具体而言，给定3D形状，我们将其从多个视图中渲染，并在对比度学习框架内建立密集的对应学习任务。结果，与仅在2D或3D中使用自学的替代方案相比，学到的2D表示是视图不变和几何一致的，在对有限的标记形状进行培训时，可以更好地概括概括。对纹理（渲染peple）和未纹理（partnet）3D数据集的实验表明，我们的方法在细粒部分分割中优于最先进的替代方案。当仅一组稀疏的视图可供训练或形状纹理时，对基准的改进就会更大，这表明MVDecor受益于2D处理和3D几何推理。

创建和编辑3D对象的形状和颜色需要巨大的人类努力和专业知识。与3D接口中的直​​接操作相比，诸如草图和涂鸦之类的2D交互对用户通常更自然和直观。在本文中，我们提出了一个通用的多模式生成模型，该模型通过共享的潜在空间耦合2D模式和隐式3D表示。通过提出的模型，通过简单地通过潜在空间从特定的2D控制模式传播编辑，可以实现多功能3D生成和操纵。例如，通过绘制草图来编辑3D形状，通过绘画颜色在2D渲染上重新色彩，或者在一个或几个参考图像中生成特定类别的3D形状。与先前的作品不同，我们的模型不需要每个编辑任务进行重新训练或微调，并且在概念上也很简单，易于实现，对输入域移动的强大，并且可以在部分2D输入中进行多样化的重建。我们在灰度线草图和渲染颜色图像的两种代表性2D模态上评估了我们的框架，并证明我们的方法可以通过以下2D模态实现各种形状的操纵和生成任务。

在培训深层网络中进行部分分割的重要瓶颈是获得详细注释的成本。我们提出了一个框架，以利用粗糙标签，例如图形地面蒙版和关键点位置，这些位置容易用于某些类别以改善零件分割模型。一个关键的挑战是，这些注释是针对不同任务和不同的标签样式收集的，并且不能轻易地映射到零件标签上。为此，我们建议共同学习标签样式与部分分割模型之间的依赖关系，从而使我们能够利用来自不同标签的监督。为了评估我们的方法，我们在Caltech-UCSD鸟类和OID飞机数据集上开发了基准。我们的方法优于基于多任务学习，半监督学习和竞争方法的基准，这些方法依赖于手动设计的损失功能，以利用稀疏的supervision。

We investigate how well CLIP understands texture in natural images described by natural language. To this end, we analyze CLIP's ability to: (1) perform zero-shot learning on various texture and material classification datasets; (2) represent compositional properties of texture such as red dots or yellow stripes on the Describable Texture in Detail(DTDD) dataset; and (3) aid fine-grained categorization of birds in photographs described by color and texture of their body parts.

基于GAN的生成建模的进展是，社区的推动是为了发现超出图像生成和编辑任务的使用。特别是，最近的几项工作表明，可以重新用诸如零件分割的判别任务重新用来重新用，尤其是当训练数据有限时。但这些改进如何解决自我监督学习的最新进展情况？由此引起这种激励，我们提出了一种基于对比学习的替代方法，并比较它们对标准的几次射击部分分割基准的性能。我们的实验表明，不仅GAN的方法不提供显着的性能优势，它们的多步训练很复杂，几乎是数量级较慢，并且可以引入额外的偏差。这些实验表明，由使用对比学习训练的标准前馈网络捕获的生成模型的感应偏差，例如它们的解开形状和纹理的能力。这些实验表明，目前生成模型中存在的电感偏差，例如它们的解开形状和纹理的能力，通过使用对比学习训练的标准前馈网络充分捕获。

我们提出了将粗大分类标签纳入细粒域中的图像分类器的技术。这种标签通常可以通过较小的努力来获得较小的粒状域，例如根据生物分类法组织类别的自然界。在三个王国组成的半inat数据集上，包括Phylum标签，在使用ImageNet预训练模型的转移学习设置中将物种级别分类精度提高了6％。使用称为FixMatch的最先进的半监督学习算法的分层标签结构提高了1.3％的性能。当提供诸如类或订单的详细标签或从头开始培训时，相对收益更大。但是，我们发现大多数方法对来自新类别的域名数据的存在并不强大。我们提出了一种技术来从层次结构引导的大量未标记图像中选择相关数据，这提高了鲁棒性。总体而言，我们的实验表明，具有粗大分类标签的半监督学习对于细粒度域中的培训分类器是实用的。

深度图像先验表明，通过简单地优化它的参数来重建单个降级图像，可以训练具有合适架构的随机初始化网络以解决反向成像问题。但是，它受到了两个实际限制。首先，它仍然不清楚如何在网络架构选择之前控制。其次，培训需要Oracle停止标准，因为在优化期间，在达到最佳值后性能降低。为了解决这些挑战，我们引入频带对应度量以表征在之前的深图像的光谱偏压，其中低频图像信号比高频对应物更快且更好地学习。根据我们的观察，我们提出了防止最终性能下降和加速收敛的技术。我们介绍了Lipschitz受控的卷积层和高斯控制的上采样层，作为深度架构中使用的层的插件替代品。实验表明，随着这些变化，在优化期间，性能不会降低，从需要对Oracle停止标准的需求中脱离我们。我们进一步勾勒出停止标准以避免多余的计算。最后，我们表明我们的方法与各种去噪，去块，染色，超级分辨率和细节增强任务的当前方法相比获得了有利的结果。代码可用于\ url {https:/github.com/shizenglin/measure-and-control-spectraL-bias}。

We present a network architecture for processing point clouds that directly operates on a collection of points represented as a sparse set of samples in a high-dimensional lattice. Naïvely applying convolutions on this lattice scales poorly, both in terms of memory and computational cost, as the size of the lattice increases. Instead, our network uses sparse bilateral convolutional layers as building blocks. These layers maintain efficiency by using indexing structures to apply convolutions only on occupied parts of the lattice, and allow flexible specifications of the lattice structure enabling hierarchical and spatially-aware feature learning, as well as joint 2D-3D reasoning. Both point-based and image-based representations can be easily incorporated in a network with such layers and the resulting model can be trained in an end-to-end manner. We present results on 3D segmentation tasks where our approach outperforms existing state-of-the-art techniques.

Patterns and textures are defining characteristics of many natural objects: a shirt can be striped, the wings of a butterfly can be veined, and the skin of an animal can be scaly. Aiming at supporting this analytical dimension in image understanding, we address the challenging problem of describing textures with semantic attributes. We identify a rich vocabulary of forty-seven texture terms and use them to describe a large dataset of patterns collected "in the wild". The resulting Describable Textures Dataset (DTD) is the basis to seek for the best texture representation for recognizing describable texture attributes in images. We port from object recognition to texture recognition the Improved Fisher Vector (IFV) and show that, surprisingly, it outperforms specialized texture descriptors not only on our problem, but also in established material recognition datasets. We also show that the describable attributes are excellent texture descriptors, transferring between datasets and tasks; in particular, combined with IFV, they significantly outperform the state-of-the-art by more than 8% on both FMD and KTH-TIPS-2b benchmarks. We also demonstrate that they produce intuitive descriptions of materials and Internet images.